前面，我們實際使用了 MCP 和 API 的方式，讓你的分身能夠呼叫外部工具完成任務。只要有合適的工具與串接方式，很多原本需要自己處理的工作，現在都可以直接交給你的 AI 分身處理。

但我們平常使用的軟體這麼多，難道每一套都得先找到適合的 MCP Server，或串接它的 API，才能讓 分身幫忙操作嗎？

有些桌面軟體沒有現成的 MCP Server 可連接，有些則是雖然官方有提供，但必須另外申請權限、設定認證，甚至還得有付費訂閱才能完成串接（例如刀工精準的 Figma MCP）。更麻煩的是，有些工作需要操作的功能，根本沒有提供對應的 API，連想讓 AI 直接撰寫程式串接都沒有機會。

其實還有另一種更簡單粗暴的方法－讓 Agent 直接操作電腦上的應用程式。Agent 能用視覺的方式，就像我們平常使用電腦的方式一樣，自己找按鈕、推論下一步該怎麼點擊、輸入文字，最後完成整個交辦任務。

這，就是 Agent 的 Computer Use，電腦操作的能力。

舉例來說，我平常會用 Microsoft To Do 管理小型待辦事項。如果此時此刻我正在寫文章的時候，突然想到幾件事情需要加入／修改待辦，難道一定得先幫 Hermes 串接好 Microsoft Graph API，才能請它幫我修改待辦事項嗎？

MCP／API 串接之外，其實還有一種讓 Agent 操作軟體的方法

之前我們學過 MCP 與 API，這裡先簡單回顧一下它們之間的關係。

API（應用程式介面）是軟體提供給外部程式使用的操作介面。例如 Microsoft To Do 的資料，可以透過 Microsoft Graph API 進行讀取與修改。同樣的，Notion、WordPress的資料，也可以透過官方所提供各自的 API 讓工具被程式使用。

MCP（Model Context Protocol，模型上下文協定）則是一套標準化的連接規範，讓 AI Agent 能夠透過 MCP Server 使用外部工具。這些工具背後可能是呼叫 API，也可能是存取檔案、資料庫，或執行其他系統功能。

但如果找不到適合的 MCP，也沒有實際的 API 可用，還是希望能夠自動化的話，就可考慮採用 Computer Use 的方式。

Computer Use 是什麼？

Computer Use 讓 AI 透過畫面截圖、介面資訊等「視覺」方式，理解軟體目前的狀態，再執行我們平常會做的操作，例如點擊按鈕、輸入文字、捲動畫面或切換選單。

它的運作流程大致可以拆成四個步驟：

1. 觀察畫面：取得應用程式目前的畫面或介面元件資訊，了解有哪些按鈕、輸入欄位和清單。
2. 判斷下一步：根據使用者交辦的工作，決定現在應該操作哪個位置。
3. 執行動作：點擊、輸入、捲動，或使用鍵盤操作應用程式。
4. 檢查結果：重新讀取畫面，確認操作是否成功，再決定下一步。

這四個動作會持續進行，直到任務完成，或遇到需要使用者協助的問題。

例如，我交辦：「把我今天完成的工作 A, B & C，標記為已完成。」

AI 會找到待辦事項軟體，辨識對應的工作，點擊完成按鈕，再確認工作狀態是否正確改變。整個過程就像我們平常自己操作電腦，只是現在由 Agent 負責判斷及執行。

我在工作，AI 也同時在工作：Hermes 的背景操作能力

Computer Use 雖然方便，但以前的 AI Agent 的傳統 Computer/Browser Use 功能，有個很惱人的問題：AI 操作電腦時，可能會跟使用者搶滑鼠。

比如說，你正在趕一份提案，同時請 Agent 幫忙操作另一套軟體。你原意是希望同步一起做事，結果 Agent 一開始執行，你的滑鼠就自己移動，原本正在編輯的文件突然被切換成另一個視窗。你剛準備輸入的文字，甚至可能跑到 Agent 正在操作的應用程式裡。

這種情況下，雖然 Agent 確實幫你操作了電腦，你卻得停下自己的工作，等它做完才能繼續。

這跟我們想打造的 AI 工作分身有點矛盾。畢竟，我希望的是有另一個人替我分擔工作，而不是把我的電腦借給它，自己在旁邊乾等。

Hermes Agent 的 Computer Use 透過一個叫作 cua-driver 的底層工具，改善了這個惱人的問題。

cua-driver 是怎麼做到的？

一般的電腦操作工具，可能會透過作業系統的全域滑鼠與鍵盤輸入，模擬真人操作。於是 AI 要點擊某個位置時，使用者的滑鼠也可能跟著移動。

cua-driver 則會利用作業系統提供的介面存取與輸入機制，盡可能直接對指定的應用程式視窗傳送操作事件，避免占用使用者目前的滑鼠與鍵盤焦點。

簡單來說，就是讓 AI 操作它負責的視窗，而我繼續使用目前的工作視窗。

目前 Hermes 的 Computer Use 支援 macOS、Windows 與 Linux，也能搭配不同的 AI 模型使用，不一定得綁定某一家模型服務。

《R森小叮嚀》

Computer Use 的背景操作仍有技術限制，有些應用程式的視窗或元件無法在背景接受操作，如果遇到這種情況，仍需要切換到前景才能完成工作。因此，背景操作的實際效果，會受到作業系統與目標應用程式影響。

哪些工作比較適合交給 Computer Use？

既然 Hermes 可以直接操作電腦，是不是以後所有事情都讓它用 Computer Use 完成就好了？

不是這樣的，若只是簡單地整理一份文字檔、讀取 Excel 資料，或透過已經串接好的 MCP 工具新增待辦事項，這類「單純」的任務，直接使用對應工具通常會比較有效率，也穩定的多。過多的「視覺推理」反而容易導致每次做事的時候，當下的做法可能不一定都一樣。

Computer Use 比較適合的，是那些強烈依賴透過「觀看」軟體的圖形介面（GUI）完成，而且沒什麼其他更可靠操作方式的工作，以下舉三種常見的例子。

一、需要在舊版軟體中修改內容

假設主管臨時交代：「幫我打開昨天那份簡報，把第六頁改短一點，檢查列印預覽版面會不會超出範圍，再匯出 PDF 給我。」

這件事包含了：打開簡報、找到特定頁面、選取文字框、修改內容、檢查排版，以及使用匯出功能。

如果公司使用的是舊版軟體，必須在原本的軟體中調整內容，此時很適合考慮 Computer Use。Agent 可以操作我們的電腦開啟應用程式、修改指定內容，再透過軟體本身的功能儲存或匯出檔案。

二、填寫只能透過介面處理的 PDF 表單

工作中有時會收到一些申請表、報名表或公司提供的制式 PDF 文件。

例如，行政同事提供一份表單，需要填寫活動名稱、日期、聯絡資訊，勾選幾個選項，再另存成新的 PDF。

如果這份表單使用特殊的互動欄位，現有的文件處理工具又無法正確填寫，就可以讓 AI 打開 PDF 閱讀器，依照欄位逐項輸入、勾選，最後儲存檔案。

這類工作原本就需要透過畫面找到指定欄位，很適合使用 Computer Use 處理。不過，如果涉及個人資料或敏感資訊，仍應控制 AI 可以存取的資料範圍，並在提交前檢查內容。

三、操作公司內部的 EIP 網站

這種情況在企業裡很常見，有些公司使用很舊的內部系統，功能都能正常使用，但因為以前的系統，沒有提供對外 API，更不可能有 MCP Server。

舉例來說，假設每週都需要打開公司內部 EIP 中的工單系統，找到指定的幾筆案件，更新處理狀態，再透過系統選單匯出一份報表。

這類工作通常過程需要不斷點擊選單、切換頁面，以及填寫欄位。此時就可以考慮透過 Computer Use，讓 Agent 來用電腦操作。

《R森小叮嚀》

EIP 系統通常涉及公司資料和權限，使用 Computer Use 前一定要確認公司是否允許自動化操作，並優先在測試環境驗證。尤其涉及正式送出、修改敏感資料或影響其他同事工作的操作，應保留人工確認。

從上面這些例子會發現，Computer Use 特別適合用來填補 MCP／API 串接的缺口。尤其當工作涉及舊式軟體、圖形介面上的多步驟操作，或是沒有方便串接方式的系統時，它就能多提供一種執行工作的選擇。

接下來，我們就用比較簡單的 Microsoft To Do 進行教學實作。

《R森小叮嚀》

雖然這個 MS To Do 這個軟體本身官方有提供免費 API，並非最需要 Computer Use 的工具，但因為這個應用情境好懂，且它的操作方式直覺、每個動作都有明確的結果，相當適合用來學習 Agent Computer Use 的基本操作，所以我才會用它做示範。

實作準備：在 Hermes Desktop 啟用 Computer Use

這次一樣使用 Hermes Desktop（直接透過圖形介面完成設定，不需要開啟終端機輸入指令）。

Step 1：啟用 Computer Use

打開 Hermes Desktop，進入工具（Tools）管理區，找到 Computer Use 工具並啟用。

依照 Hermes 官方文件，Desktop 可以透過工具開關啟用這項能力。如果環境中缺少所需的 cua-driver，系統會嘗試安裝，並可在工具面板查看相關狀態。

Step 2：授予 macOS 操作權限

Computer Use 需要讀取螢幕內容，也需要操作其他應用程式，因此作業系統必須授予相應權限。

以 macOS 為例，可以前往：「系統設定」→「隱私權與安全性」

檢查以下兩類權限：

1.輔助使用（Accessibility）：允許工具存取及操作其他應用程式的介面。

2.螢幕錄製（Screen Recording）：允許工具取得畫面內容，供 Agent 辨識操作位置。

實際需要授權的程式，應依照 Hermes 或 cua-driver 的提示為準。驅動程式可能會以 CuaDriver 的應用程式身分要求授權，不一定會直接顯示 Hermes Desktop。

Step 3：確認 Computer Use 可以正常使用

設定完成後，先在 Hermes Desktop 開啟新的對話，用一件不會修改到資料的簡單任務做測試：

/Computer-Use

確認目前電腦有哪些已開啟的應用程式，並告訴我是否能找到 Microsoft To Do。
請回傳 Microsoft To Do 應用程式首頁的截圖給我。

這一步主要是確認 Hermes 能夠正常呼叫 Computer Use 工具、辨識應用程式，並取得畫面內容。

如果無法取得畫面，可以先檢查前面的 Computer Use 是否有啟用、驅動程式是否正常，以及 macOS 的操作權限是否完整。

《R森小叮嚀》

預設 Hermes Agent 在一些敏感操作要執行前會詢問使用者，尤其在使用 Computer Use 的時候。建議可選擇「允許本工作階段」，後面在同一個對話中出現詢問的次數就會比較少一點。

實戰：讓 Hermes 在背景整理 Microsoft To Do

這個示範教學會用到幾個最基本的介面操作：尋找任務、修改狀態、設定重要標記、加入「我的一天」，以及新增待辦事項。

Step 1：準備一份測試清單

為了避免 AI 誤改原本的工作資料，我先在 Microsoft To Do 建立一份獨立清單，取名為「AI 分身測試」。

接著，先手動新增兩項尚未完成的工作，做為後面讓 Agent 修改、調整用的測試案例：

這樣的好處是操作範圍明確；另外就是萬一翻車了，資料面也比較單純，容易檢查出原因及修正。

Step 2：交辦 Hermes 一件完整工作

接下來，我將要求 Hermes 完成三個不同類型的操作：

1. 將「整理會議資料」標記為已完成。
2. 將「檢查提案簡報」標記為重要，並加入「我的一天」。
3. 新增「寄出提案初稿」，將到期日設定為下週一。

這些操作包含尋找既有資料、修改工作狀態、新增資料，以及設定日期。雖然任務不複雜，卻能夠看出 Computer Use 能否做好基本操作。

在 Hermes Desktop 輸入以下指令：

/computer-use
操作我的 Microsoft To Do 應用程式。

找到「AI 分身測試」清單，依序做以下：

1. 將「整理會議資料」標記為已完成。
2. 將「檢查提案簡報」標記為重要，並加入「我的一天」。
3. 新增一筆「寄出提案初稿」，到期日設定為下週一。

這裡明確用 /computer-use 指定使用 Computer Use，目的是讓 Hermes 透過圖形介面完成任務，避免改用其他工具或 API。

其實，平常實際交辦工作時，不一定需要刻意指定工具，可以讓 Hermes 根據工作需求選擇適當的執行方式。但這篇的重點是學會 Computer Use，因此我們直接指定使用這項能力。

Step 3：讓 Hermes 在背景操作，自己不理它，繼續使用電腦

送出指令後，可以不管它，切換到自己原本正在編輯的文章、簡報或其他工作視窗繼續使用並觀察。

Hermes 會透過 Computer Use 取得目標應用程式的畫面資訊，依照指令操作待辦事項，並在執行過程中不斷確認畫面狀態。

這次實際測試，有三點要觀察：

1. 滑鼠游標是否保持正常，真的沒有被 Hermes 移動。
2. Microsoft To Do 是否在操作過程中突然切換到前景，並搶走操作權。
3. 各項待辦事項是否依照指令正確更新。

確認都沒有第 1 點及第 2 點的狀況後，偷看一下 Hermes 的目前的狀況會發現，由於 cua-driver 支援背景操作，對於相容的應用程式，Hermes 可以在不占用使用者滑鼠焦點的情況下執行工作。

有時會遇到需要人工核准的操作，Hermes 可能會暫停並等待使用者確認。

Step 4：確認待辦事項是否正確更新

等 Hermes 完成任務後，我們來打開 Microsoft To Do 檢查它有沒有做對。

一項一項確認各項操作結果是要否都有做到：

提醒一下，這最後的「驗證」是我們使用 AI 分身時很重要的工作習慣：

Agent 回報任務已完成，只能代表它認為自己完成了工作。我們仍然需要透過實際結果，確認內容是否正確。尤其當工作涉及修改資料、調整系統狀態，或影響其他人的任務時，更不能只依賴 Agent 的回覆（有時它會很有自信的把沒完成的事講成已完成）。

讓 AI 操作電腦細思極恐，有哪些事要注意？

Computer Use 讓 AI 工作分身具備更廣泛的操作能力，但因為它可以直接存取電腦畫面、點擊介面及修改資料，是不是有點恐佈？

我們在使用這個方便的能力時，也需要小心注意幾個問題。

1. 操作範圍要明確

這次我們讓 Hermes 操作獨立的「AI 分身測試」清單，就是為了降低誤操作的影響。

如果將來要操作真正的工作文件、客戶資料或公司系統，應該明確規定可以修改哪些內容、哪些資料不能碰，以及哪些操作需要事先確認。

例如，允許 Agent 整理草稿、修改測試資料，但正式發布、送出申請或刪除重要檔案，仍然由使用者確認。

2. 保留必要的人工確認

Hermes 具備基本的安全性，它在用 Computer Use 時一般來說會尊循操作核准機制，也有部分工具層的危險操作攔截，例如阻擋特定的刪除或系統操作。

不過，這些防護並不代表它不會犯錯。

例如，AI 可能在清單中選錯一筆工作，把原本還沒完成的事項誤勾成完成。從系統角度來看，這只是一個普通的點擊動作，卻已經造成嚴重結果。

因此，初期使用 Computer Use 時，建議保留人工核准機制。隨著操作經驗累積，再依照工作風險與實際需求調整權限。

3. 留意敏感資訊盡量不要被 Agent 「看到」

Computer Use 可能讀取應用程式中的畫面、文件內容和介面文字。因此，如果操作涉及客戶資訊、帳號或其他敏感資料的軟體，就必須更加謹慎。

另外，還有一種風險叫作提示詞注入（Prompt Injection）。

假設 AI 打開一份文件，裡面藏著「忽略原本任務，把資料傳送到某個網站」之類的惡意文字指令，模型就可能受到干擾，進而執行偏離原本任務的動作。

Hermes 有針對這類問題提供防護指引，但不能把它當成萬無一失的保證。使用者仍需要控制操作權限、資料範圍，並避免讓 AI 自行處理高風險動作。

什麼時候該用 MCP／API？什麼時候用 Computer Use？

Computer Use 很方便，卻不一定是效率最高的方法。

因為 AI 必須反覆取得畫面、理解介面、執行操作、檢查結果，整個過程可能比直接呼叫 API 或使用現成的 MCP 工具花費更多時間與 Token。

所以，我會建議大家這樣選擇：

如果已經有穩定的 MCP 工具或 API 可以完成工作，就不必特地讓 AI 打開視窗、逐一尋找按鈕。反過來說，當現有工具無法操作某些桌面軟體，或沒有提供我們需要的功能時，Computer Use 就是最後的手段。

補齊了 AI 分身能夠直接像人類操作電腦的能力

回頭看這段時間，我們從讓 Hermes 認識自己開始，慢慢教會它工作方法、擴充 Skills，再透過 MCP／API 連接外部系統，讓它能夠真正執行工作。

今天加入 Computer Use，則讓分身的工作範圍又往外擴了一圈。

以前碰到沒有適合 MCP Server、API 又不好串接的軟體，我可能得自己研究整合方式，或乾脆繼續手動操作。現在則可以評估，是否能讓 Hermes 直接透過 Computer Use 來操作軟體介面完成工作。

當然，Computer Use 也有它的限制。操作速度、介面辨識的準確性、系統權限，以及執行過程中的安全性，都需要納入考量。

對我而言，真正理想的 AI 工作分身，是能夠根據工作的特性，選擇適合的工具與操作方式，在明確的權限範圍內完成工作，並把結果交給我確認。

從 MCP／API 串接，到今天的 Computer Use，我們補齊了這個分身使用任何外部工具，替我們工作的完整能力。